Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity

논문: https://arxiv.org/abs/2403.14403

최근 대규모 언어 모델(LLM)의 발전으로 다양한 작업, 특히 질문 답변(QA)에서의 성능이 향상되었지만, 여전히 파라메트릭 메모리에 의존하기 때문에 사실 정확도에 어려움을 겪고 있습니다. 특히 다단계 추론이 필요한 복잡한 쿼리의 경우 응답의 정확성과 관련성을 높이기 위해 외부 지식 소스를 통합하는 검색 증강 LLM이 등장했습니다. 제안된 적응형 검색 증강 생성(Adaptive-RAG) 프레임워크는 사용자 쿼리의 복잡성에 따라 가장 적합한 검색 전략을 동적으로 선택하여 효율과 정확도를 개선합니다.

초록

외부 지식 베이스의 비모수적 지식을 LLM에 통합하는 검색-증강 대규모 언어 모델(LLM)은 질문-응답(QA)과 같은 여러 작업에서 응답 정확도를 향상시키는 유망한 접근 방식으로 부상했습니다. 그러나 복잡도가 다른 쿼리를 처리하는 다양한 접근 방식이 존재하지만 불필요한 계산 오버헤드가 발생하는 단순한 쿼리를 처리하거나 복잡한 다단계 쿼리를 적절히 처리하지 못하며, 모든 사용자 요청이 단순하거나 복잡한 범주 중 하나에만 속하는 것은 아닙니다. 이 연구에서는 쿼리 복잡도에 따라 가장 단순한 것부터 가장 정교한 것까지 (검색-증강) LLM에 가장 적합한 전략을 동적으로 선택할 수 있는 새로운 Adaptive QA 프레임워크를 제안합니다. 또한 이 선택 프로세스는 모델의 실제 예측 결과와 데이터셋에 내재된 귀납적 편향으로부터 얻은 자동 수집 레이블로 들어오는 쿼리의 복잡성 수준을 예측하도록 훈련된 더 작은 LM인 분류기로 작동됩니다. 이 접근 방식은 다양한 쿼리 복잡성에 대응하여 반복 및 단일 단계 검색-증강 LLM과 검색-없음 방법 간에 원활하게 적응하는 균형 잡힌 전략을 제공합니다. 여러 쿼리 복잡성을 포괄하는 오픈 도메인 QA 데이터셋 세트에서 모델을 검증하고, 적응형 검색 접근 방식을 포함한 관련 기준선과 비교하여 우리 모델이 QA 시스템의 전반적인 효율성과 정확성을 향상시킨다는 것을 보여줍니다. 코드는 여기에서 확인할 수 있습니다.